#next token prediction

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

6天前

看KIMIzhilin访谈给我的启发： LLM agentic 生成行为的训练，是在next token predition基础上构建新的生成路径模式（原来我认为只是MLP层主导，现在看来是attention和MLP共同作用于残差流) 思维模式的抽象大于行为模式的抽象，越抽象越能泛化，但构建能力越弱。 COT是顶级的，还有reflect/plan search模式思考和行为兼顾 code模式像ant这种就是在search模式的下游了

#LLM agentic #next token prediction #思维模式抽象 #CoT #search模式